篇首语:本文由编程笔记#小编为大家整理,主要介绍了Elasticsearch - Elasticsearch 8.X;Elasticsearch 8.X集群相关的知识,希望对你有一定的参考价值。
Elasticsearch - Elasticsearch详解;安装部署(一)_MinggeQingchun的博客-CSDN博客
Elasticsearch - Elasticsearch集群Cluster(三)_MinggeQingchun的博客-CSDN博客
距 2019 年 Elasticsearch 上一大版本 7.0 发布至今已经过去了 3 年
2022 年 2 月 11 日,Elasticsearch 发布了全新的 8.0 正式版本,新版本中通过改进 Elasticsearch 的矢量搜索功能、对现代自然语言处理模型的原生支持、不断简化的数据上线过程,以及精简的安全防护体验,在速度、扩展幅度、相关 性和简便性方面,让搜索引擎技术迎来了一个全新的时代!
1、减少内存堆使用,完全支持 ARM 架构,引入全新的方式以使用更少的存储空间,从而让每个节点托管更多的数据
2、降低查询开销,在大规模部署中成效尤为明显
3、提高日期直方图和搜索聚合的速度,增强了页面缓存的性能,并创建了一个新的 “pre-filter”搜索短语
在最新发布的 8.0 版本中,增加和完善了很多新的功能
4、增加对自然语言处理 (NLP) 模型的原生支持,让矢量搜索功能更容易实现,让客户和员工能够使用他们自己的文字和语言来搜索并收到高度相关的结果
5、直接在 Elasticsearch 中执行命名实体识别、情感分析、文本分类等,而无需使用额外 的组件或进行编码
6、Elasticsearch 8.0 基于 Lucene 9.0 开发的,那些利用现代 NLP 的搜索体验,都可以借助(新增的)对近似最近邻搜索的原生支持,快速且大规模地实现。通过 ANN,可以快速并高效地将基于矢量的查询与基于矢量的文档语料库(无论是小语料库、大语料库还是巨型语料库)进行比较
7、可以直接在 Elasticsearch 中使用 PyTorch Machine Learning 模型(如 BERT),并在Elasticsearch 中原生使用这些模型执行推理
支持矩阵 | Elastic
支持矩阵 | Elastic
1、ES 7.x 及之前版本,选择 Java 8
2、ES 8.x 及之后版本,选择 Java 17 或者 Java 18,建议 Java 17,因为对应版本的 Logstash 不支持 Java 18
(1)对于ES 8.0
:Java版本仅支持 Java 17,别无选择
(2)对于ES 8.1及以上版本
:支持Java 17 以及 Java 18,建议 Java 17,因为对应版本的Logstash 不支持 Java 18
3、Java 9、Java 10、Java 12 和 Java 13 均为短期版本,不推荐使用
4、M1(Arm) 系列 Mac 用户建议选择 ES 7.8.x 以上版本,因为考虑到 ELK 不同产品自身兼容性,7.8.x以上版本原生支持 Arm 原生 JDK
Elasticsearch是使用Java开发的,8.1版本的ES需要JDK17及以上版本。默认安装包中带有JDK环境,如果系统配置ES_JAVA_HOME环境变量,那么会采用系统配置的.JDK。如果没有配置该环境变量,ES会使用自带捆绑的JDK。虽然自带的JDK是 ES软件推荐的Java版本,但一般建议使用系统配置的JDK
Java Software | Oracle
Java 软件 | Oracle 中国
Java Downloads | Oracle
JDK Release Notes
可参考
Java--Java版本和JDK版本_MinggeQingchun的博客-CSDN博客_java最新版本是多少
注:
1、因博主未升级JDK1.8至JDK17、JDK18;但是ES7.16.X是能兼容JDK1.8和JDK17、JDK18的,因此以安装ES7.16.0为例
2、博主通过虚拟机VMware Workstations仅安装2台配置ES集群
可参考
Elasticsearch - Elasticsearch集群Cluster(三)_MinggeQingchun的博客-CSDN博客
免费且开放的搜索:Elasticsearch、ELK 和 Kibana 的开发者 | Elastic
Past Releases of Elastic Stack Software | Elastic
准备三台 linux 虚拟机,用于配置 Elasticsearch 集群;启动集群后
主机名 | esLinux1 | esLinux2 |
进程名 | Elasticsearch (es-node-1) | Elasticsearch (es-node-2) |
将 elasticsearch-7.16.0-linux-x86_64.tar.gz 上传至 目标目录 /opt/software
执行解压缩命令
tar -zxvf elasticsearch-7.16.0-linux-x86_64.tar.gz -C /opt/software/
目录结构如下
当前安装Elasticsearch版本为7.16.0,自带JDK,无需配置Java环境
注:
因为安全问题,Elasticsearch 不允许 root 用户直接运行,所以要创建新用户,在 root 用户中创建新用户
# 新增 es 用户
useradd es
# 为 es 用户设置密码
passwd es
# 创建数据文件目录
mkdir /opt/software/elasticsearch-7.16.0/data
# 创建证书目录
mkdir /opt/software/elasticsearch-7.16.0/config/certs
#切换目录
cd /opt/software/elasticsearch-7.16.0
# 修改文件拥有者
chown -R es:es /opt/software/elasticsearch-7.16.0
# 切换用户
su es
# 签发 ca 证书(过程中需按两次回车键)
bin/elasticsearch-certutil ca
# 用 ca 证书签发节点证书(过程中需按三次回车键)
bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12
# 将生成的证书文件移动到 config/certs 目录中
mv elastic-stack-ca.p12 elastic-certificates.p12 config/certs
# 签发 Https 证书
bin/elasticsearch-certutil http
以下是每次要求输入时,需要输入的内容
# 解压文件
unzip elasticsearch-ssl-http.zip
将解压后的证书文件移动到
config/certs
目录中
# 移动文件
mv elasticsearch/http.p12 kibana/elasticsearch-ca.pem config/certs
# 设置 ES 集群名称
cluster.name: es-cluster
# 设置集群中当前节点名称
node.name: es-node-1
# 设置数据,日志文件路径
path.data: /opt/software/elasticsearch-7.16.0/data
path.logs: /opt/software/elasticsearch-7.16.0/logs
# 设置网络访问节点
network.host: esLinux1
# 设置网络访问端口
http.port: 9200
# 初始节点
discovery.seed_hosts: ["esLinux1"]
# 安全认证
xpack.security.enabled: true
xpack.security.enrollment.enabled: true
xpack.security.http.ssl:
enabled: true
keystore.path: /opt/software/elasticsearch-7.16.0/config/certs/http.p12
truststore.path: /opt/software/elasticsearch-7.16.0/config/certs/http.p12
xpack.security.transport.ssl:
enabled: true
verification_mode: certificate
keystore.path: /opt/software/elasticsearch-7.16.0/config/certs/elastic-certificates.p12
truststore.path: /opt/software/elasticsearch-7.16.0/config/certs/elastic-certificates.p12
# 此处需注意,es-node-1 为上面配置的节点名称
cluster.initial_master_nodes: ["es-node-1"]
http.host: [_local_, _site_]
ingest.geoip.downloader.enabled: false
xpack.security.http.ssl.client_authentication: none
# 启动 ES 软件
bin/elasticsearch
注:
第一次成功启动后,会显示密码,请记住,访问时需要。只有第一次才有!!!
如果 没有注意到或没有找到账号密码,可以设置免密登录:
# Enable security features
xpack.security.enabled: false
✅ Elasticsearch security features have been automatically configured!
✅ Authentication is enabled and cluster connections are encrypted.
ℹ️ Password for the elastic user (reset with `bin/elasticsearch-reset-password -u elastic`):
密码xxxxx
❌ Unable to generate an enrollment token for Kibana instances, try invoking `bin/elasticsearch-create-enrollment-token -s kibana`.
ℹ️ Configure other nodes to join this cluster:
• On this node:
⁃ Create an enrollment token with `bin/elasticsearch-create-enrollment-token -s node`.
⁃ Uncomment the transport.host setting at the end of config/elasticsearch.yml.
⁃ Restart Elasticsearch.
• On other nodes:
⁃ Start Elasticsearch with `bin/elasticsearch --enrollment-token
证书直接拷贝,其他步骤完全相同,配置文件中修改如下内容即可
# 设置节点名称
node.name: es-node-2
# 设置网络访问主机
network.host: esLinux2
main ERROR Unable to invoke factory method in class org.apache.logging.log4j.core.appender.RollingFileAppender for element RollingFile: java.lang.IllegalStateException: No factory method found for class org.apache.logging.log4j.core.appender.RollingFileAppender java.lang.IllegalStateException: No factory method found for class org.apache.logging.log4j.core.appender.RollingFileAppender
在安装elasticsearch时,新建的logs目录是用root用户建的,因此,logs下的文件是root用户权限,因此,将该权限改为非root用户即可
su root
cd /opt/software/elasticsearch-7.16.0/
chown -R es ./logs/
chgrp -R es ./logs/
Elasticsearch在启动过程中被自动killed,是内存不够了,由于ES是运行在JVM上,JVM本身除了分配的heap内存以外,还会用到一些堆外(off heap)内存。 在小内存的机器上跑ES,如果heap划分过多,累加上堆外内存后,总的JVM使用内存量可能超过物理内存限制。 如果swap又是关闭的情况下,就会被操作系统oom killer杀掉
修改ES中目录下的config/jvm.options文件
将
-Xms4g
-Xmx4g
改为
-Xms1g
-Xmx1g